T^2MLR: Transformer with Temporal Middle-Layer Recurrence
T2MLR：带时序中层循环的 Transformer
🧭 中层时序循环增强Transformer隐式推理
Princeton University · Princeton Language and Intelligence
在Transformer中层引入跨时间步的隐状态循环，缓解自回归信息瓶颈，提升推理性能
📌 工作参考价值（4 点）
- 可将中层循环引入现有LLM，通过微调提升多步推理任务性能，无需重新预训练，适合在已有Agent系统中以低成本增强模型推理能力。
- 局部循环设计（仅对20%的中间层做递归）既有效又轻量，可作为工程优化思路：在微调大模型时只改装关键的中间层块，减少额外计算开销。
- 隐状态跨步传递的机制可借鉴到需要跨轮次保持中间运算状态的应用，如对话Agent的长期上下文理解、多轮谈判策略规划等。
- 实验表明，改装1.7B模型并微调即可大幅提升数学推理，该方法也可尝试用于电商搜索中的复杂意图解析或多条件过滤推理。